SNLP: Layer-Parallel Inference via Structured Newton Corrections
结构化牛顿层并行：用廉价代理雅可比实现Transformer层间并行推理
🧭 层并行推理 · 结构化牛顿校正 ★ 深度解读
Red Hat AI Innovation · MIT-IBM Watson AI Lab · Core AI, IBM
将层间隐藏状态视为非线性残差方程，用结构化代理雅可比替换精确雅可比，结合训练正则化，实现层并行加速。
📌 工作参考价值（4 点）
- IDN 正则化让残差块的雅可比逼近 I，可移植到生成式推荐的 Transformer 编码器/解码器训练中，降低层间依赖，为后续并行化创造空间。
- 推理时使用 IDN（即 hl+1 = f_l(hl-1) + (h_l - h_l-1)）做轻量校正，可实现层间并行评估，结合算子融合与 chunk 划分，在0.5B模型上获得2.3×加速，此模式可试用于电商搜索/推荐模型的实时推理加速，特别是当模型深度较大时。
- HCN 利用架构内残差混合矩阵（如mHC）作为代理雅可比，避免任何雅可比估计开销；若系统已有流式记忆或路由结构，可直接复用其权重作为并行校正算子。
- SNLP 训练正则（让有限步牛顿迭代解逼近序列解）同时改善序列PPL（降低4.7%~23.4%），可作为通用的训练正则项提升模型质量，即使不启用并行推理也值得尝试。